Tổ chức của Binh đoàn Tennessee biến động theo thời kỳ. Dưới đây là những đơn vị lớn từng phục vụ trong đội hình của binh đoàn.

Quân đoàn I

Quân đoàn I là quân đoàn đầu tiên và chủ lực của Binh đoàn Tennessee. Đây là quân đoàn gắn bó với Binh đoàn từ lúc thành lập đến khi đầu hàng. Tùy theo thời điểm, quân đoàn còn được gọi tên theo vị chỉ huy quân đoàn lúc đó như Quân đoàn Polk, Quân đoàn Hardee, hay Quân đoàn Cheatham.

Quân đoàn I được thành lập ngày 20 tháng 11 năm 1862, từ các đơn vị của Cánh quân số 2 (còn gọi là cánh quân miền Tây) của Liên minh miền Nam. Nó được giao trách nhiệm bảo vệ khu vực nằm giữa hai con sông Tennessee và sông Mississippi. Các binh sĩ của quân đoàn đều là những binh sĩ của Binh đoàn Mississippi cũ, tiền thân của Binh đoàn Tennessee.

Chỉ huy đầu tiên của quân đoàn là Trung tướng Leonidas Polk. Ông chỉ huy quân đoàn từ ngày 26 tháng 11 năm 1862 cho đến khi bị Bragg truất khỏi chức vụ chỉ huy vào ngày 29 tháng 9 năm 1863, dù về danh nghĩa ông vẫn giữ chức vụ này đến ngày 23 tháng 10 năm 1893[2].

Tạm quyền chỉ huy của quân đoàn là Thiếu tướng Benjamin F. Cheatham. Đây là lại là vị chỉ huy "lận đận" nhất với 4 lần được điều động làm chỉ huy quân đoàn. Lần đầu ông giữ chức vụ chỉ huy ngày 29 tháng 9 đến 23 tháng 10 năm 1863. Lần thứ 2 là từ 2 đến 27 tháng 12 năm 1863. Lần thứ 3, từ 31 tháng 8 đến 2 tháng 9 năm 1864. Cả ba lần ông đều giữ chức vụ "tạm quyền" chỉ huy quân đoàn thay cho chỉ huy chính thức. Mãi đến lần thứ 4 và là lần cuối cùng, ông mới được giữ chức vụ chỉ huy quân đoàn chính thức từ 28 tháng 9 năm 1864 đến 23 tháng 2 năm 1865.[2]. Trong thời gian này, người phó của ông, Thiếu tướng Patrick Cleburne có tạm quyền chỉ huy trong 2 ngày, từ 31 tháng 8 đến 1 tháng 9 năm 1864.

Vị chỉ huy quân đoàn mới là Trung tướng William J. Hardee tuy được bổ nhiệm chính thức nhưng cũng không kém "thất thường" với 4 lần giữ vai trò chỉ huy. Trong suốt thời gian nhậm chức, từ ngày 23 tháng 10 năm 1863 đến 28 tháng 9 năm 1864, ông có 2 lần được tướng Cheatham "tạm quyền".

Trong thời gian tướng Hardee chỉ huy quân đoàn, Quân đoàn I liên tục được bổ sung quân số. Ngày 31 tháng 10 năm 1863, một phần của Quân đoàn III được sáp nhập vào Quân đoàn I. Bốn ngày sau, ngày 4 tháng 11, toàn bộ Quân đoàn Trừ bị của binh đoàn cũn được sáp nhập vào Quân đoàn I.

Tuy nhiên, sau chưa đầy 5 tháng tướng Cheatham chỉ huy quân đoàn, tướng Hardee lại trở về chức vụ chỉ huy quân đoàn vào ngày 23 tháng 2 năm 1865. Trong những nỗ lực cuối cùng để chống lại quân Liên bang, toàn bộ các lực lượng còn lại của tiểu bang Georgia cũng được bổ sung vào Quân đoàn I vào ngày 10 tháng 4 năm 1865[1]. Tướng Hardee tiếp tục chỉ huy quân đoàn trong vô vọng cho đến ngày cay đắng, 26 tháng 4 năm 1865, khi cùng toàn bộ những đơn vị còn lại của binh đoàn Tennessee buông súng đầu hàng.[3]

Quân đoàn II

Quân đoàn II được thành lập đầu tiên vào tháng 4 năm 1862, trước khi diễn ra trận Shiloh, tức là từ trước khi Binh đoàn Tennessee được thành lập. Quân đoàn thành lập tại Corinth, Mississippi, hình thành từ các đơn vị của Sư đoàn Alabama của Daniel Ruggles và cánh quân của Braxton Bragg thuộc Binh đoàn Pensacola. Ban đầu, quân đoàn có tên là Quân đoàn II, Binh đoàn Mississippi do Braxton Bragg chỉ huy. Tổ chức ban đầu của quân đoàn gồm 2 sư đoàn, một do Jones Withers chỉ huy và một do Daniel Ruggles. Tổng quân số quân đoàn là 22.000 người, là đơn vị cấp quân đoàn lớn nhất trong quân đội Liên minh.

Tuy nhiên, ngay trong trận đầu tiên tại Shiloh vào ngày 6 tháng 4 năm 1862, quân đoàn đã chạm trán với sư đoàn quân Liên bang do Ben Prentiss chỉ huy. Do sự kháng cự ngoan cường của Prentiss, đặc biệt là trong trận cố thủ tại Hornet's Nest, quân đoàn dù đã dốc hết sức vẫn không công phá được vị trí mà quân Prentiss phòng thủ. Bị thương vong nặng nề, cùng với thất bại chung của Binh đoàn Mississippi, quân đoàn buộc phải rút lui để củng cố lực lượng.

Phải mất vài tháng sau, quân đoàn mới trở lại tham chiến trong Chiến dịch Corinth, sau đấy quân đoàn được tái tổ chức trong tháng 9 năm 1862. Một lần nữa, quân đoàn lại được tổ chức thành 2 sư đoàn, sư đoàn 1 do Patton Anderson chỉ huy và sư đoàn 2 do Simon Buckner chỉ huy. Chỉ huy quân đoàn lúc này được giao cho William Hardee, thay cho Braxton Bragg được thăng chức chỉ huy toàn binh đoàn.

Sau một trận chiến nhỏ ở Perryville, quân đoàn tiếp tục được bổ sung thêm sư đoàn của John Breckinridge. Một phần sư đoàn 1 được chuyển sang cho sư đoàn 2 và quân đoàn I, nhưng được bổ sung lại bằng một sư đoàn thuộc Binh đoàn của Kirby Smith, cùng với vị chỉ huy mới là John Mcown. Sư đoàn 2 cũng có vị chỉ huy mới là Patrick Cleburne, thay cho Buckner được điều đến Knoxville. Toàn quân đoàn khi đấy có 3 sư đoàn với tổng quân số 25.000 người.

Quân đoàn III

Quân đoàn Kỵ binh Forrest